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jj 要 : 新 给 天 文 台 望远镜 所 产生 的 观测 数据 通过 数据 专线 传输 到 台 本 部 数据 中 心 进 行 长 期 


存储 。 采用 rsync 进 行 数据 传输 ， 过 程 中 没有 详细 的 日 志 记 录 信 息 , 无 法 对 传输 情况 进行 统计 分 


析 。 本 文通 过 调研 新 疆 天 文 台 数据 传输 需求 ， 设 计 并 开发 了 新 给 天 文 台 观测 数据 传输 日 志 系统 。 
系统 以 新 疆 天 文 台 南山 站 、 奇 台 站 的 数据 存储 服务 器 和 人 台 本 部 长 期 存储 为 基础 ， 设 计 了 日 志 系 
统 的 整体 架构 ， 实 现 了 数据 传输 过 程 的 日 志 记 录 。 系 统 基于 shell 多 线程 技术 、qt 框 架 开发 了 后 
台 服 务 程序 及 日 志 系 统 软 件 界 面 ， 实 现 了 日 志 分 析 、 统 计 备 份 与 数据 传输 可 视 化 页 面 。 
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0 引言 


由 于 天 文 观测 的 特殊 性 ， 望 远 镜 观测 台 站 与 天 文 数据 存储 中 心 往 往 相 距 遥 远 ， 观 测 产生 的 
科学 数据 需要 通过 专线 传输 到 数据 中 心 永 久 存储 ， 传 输 的 数据 专线 长 期 暴露 在 外 会 产生 多 种 问 
题 ， 导 致 数据 传输 中 断 。 数 据 传 输 过 程 中 需要 控制 系统 与 详细 的 日 志 系 统 以 便 及 时 发 现 问 题 
并 在 故障 修复 后 重新 传输 数据 ， 若 有 直观 的 展示 和 可 视 化 管理 界面 ， 将 极 大 方便 数据 管理 员 进 
行 数据 统计 与 分 析 。 数 据 传输 过 程 中 的 日 志 记 录 和 之 后 对 日 志 的 分 析 查 询 是 天 文 数据 传输 系统 
中 重要 组 成 部 分 ， 也 是 本 文 的 主要 内 容 。 本 文 将 以 新 疆 天 文 台 观 测 数 据 在 传输 过 程 中 实际 过 到 
的 问题 为 基础 ， 设 计 并 开发 了 一 套数 据 传输 日 志 系 统 ， 实 现 数 据 查 询 、 统 计 、 分 析 等 功能 。 
Wicenec "中 等 人 研发 了 NGAS”(Next Generation Archive System)， 其 主要 目标 是 处 理 来 
自 望 远 镜 的 大 数据 流 , 该 系统 很 好 的 满足 了 观测 设备 所 输出 的 不 断 增 长 的 数据 传输 与 管理 需要 。 
NGAS 提 供用 户 基于 URL 命 令 的 接口 ,支持 包括 归档 、 检 索 、 在 内 的 几 十 个 命令 。 目 前 ，NGAS 已 经 
应 用 在 多 个 数据 中 心 的 数据 传输 中 ，ALMA、MWA、FAST 产 生 的 数据 已 经 在 使 用 NGAS 进 行 传输 ， 目 
前 上 海天 文 台 也 计划 使 用 NGAS 进 行 数据 传输 。 
rsync 是 一 款 数据 镜像 备份 工具 ， 可 实现 本 地 主机 与 远程 主机 上 的 文件 同步 ， rsync [Uf 
送 本 地 与 远程 两 个 位 置 的 数据 差异 部 分 ， 数 据 传输 效率 较 高 ”。rsync 执行 日 志 默认 输出 到 
syslog， 文 持 指 定 同步 日 志文 件 位 置 和 定制 日 志文 件 的 具体 字段 。rsync 存在 记录 日 志 信息 单 
一 问题 ， 无 法 满足 海量 天 文 数据 传输 中 状态 判断 和 问题 发 现 ， 真 实 的 天 文 数据 传输 过 程 需 要 更 
为 详尽 的 日 志 内 容 。 
志 可 审计 跟踪 发 生 在 对 象 上 的 活动 ， 日 志 在 软件 系统 中 起 辅助 作用 ， 在 满足 需求 的 情况 
F 应 尽量 简单 高 效 。 已 经 存在 的 成 熟 优秀 的 日 志 系 统 ， 如 Glog^55, Dd cuis 
也 大 “。NGAS 与 rsync 都 不 支持 日 志 多 目的 地 输出 ，rsync 也 不 提供 日 志 轮 转 功能 。 
轮转 配置 、 多 目的 输出 、 存 储 数据 按 天 或 按 文件 夹 的 统计 结果 写 入 日 志 
求 都 是 已 有 日 志 系统 无 法 满足 的 。 
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1 天 文 数据 传输 日 志 系 统 设 计 

新 疆 天 文 台 在 南山 建 有 26m 射 电 望 远 镜 ， 天 文人 台 本 部 位 于 南山 观测 站 以 北约 100KM。 望 远 镜 
观测 得 到 的 原始 数据 经 专线 传输 到 台 本 部 进行 异地 备份 “， 本 日 志 系 统 以 rsync 软 件 工具 为 基础 
实现 。 


1.1 日 志 系统 整体 架构 


E 配置 文件 ee | 
一 一 收集 器 o 存储 服务 
= 
SON E: bw 
r a 志 检 索 


图 1 日 志 系统 结构 图 


Fig. 1 Log system structure 


1 图 1 所 示 ， 日 志 系统 包 括 日 志 收 集 、 存 储 、 日 志 检索 几 个 部 分 。 通 过 日 志 收集 器 进行 日 志 
的 收集 ， 收 集 器 对 本 机 上 观测 数据 存储 目录 定时 扫描 并 进行 处 理 ， 并 根据 配置 文件 中 的 数值 选 
择 扫描 的 间隔 时 间 。 存 储 服务 进程 接收 到 收集 器 的 输出 信息 后 存储 为 数据 库 表 内 容 同 时 存 入 日 
志文 件 。 日 志 检 索 系统 根据 管理 员 检 索 条 件 显 示 日 志 信息 ， 控 制 后 台 服 务 程序 (服务 的 启动 、 

关闭 、 重 启 等 ) ， 修 改 配置 文件 。 
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1.2 关键 点 
图 2 为 日 志 系 统 后 台 程 序 实现 细节 图 。 
监控 脚本 : 执行 监控 任务 的 脚本 ， 共 有 两 个 监控 脚本 ， 彼 此 监控 。 
控制 脚本 : 根据 配置 文件 内 容 ， 控 制 各 个 脚本 的 输入 参数 ， 如 脚本 内 容 的 循环 间隔 等 。 
监控 对 象 : 检查 更 新 和 数据 写 入 两 部 分 组 成 。 检 查 更 新 脚本 通过 检测 发 送 接收 两 端 数据 对 
比 来 确定 是 否 需 要 同步 数据 备份 ， 该 脚本 只 存在 接收 端 日 志 系 统 中 。 数 据 写 入 由 文件 信息 数据 
和 统计 信息 数据 组 成 。 文 件 信息 写 入 脚本 记录 最 新 一 次 存储 目录 扫描 后 新 增 的 文件 信息 ， 统 计 
信息 脚本 负责 A 
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图 2 实现 细节 图 
Fig.2 Implementation details 


1.2.1 互相 监控 体系 

shel1l 脚 本 在 linux 系 统 运行 中 可 能 会 非 正常 退出 或 异常 结束 ， 日 志 系 统 必须 时 时 监测 保证 
整套 系统 正常 运行 。 监 控 脚 本 1、 监 控 脚 本 2、 监 控 对 象 组 成 了 一 个 牢固 的 互相 监控 体系 。 监 控 
脚本 1 与 监控 脚本 2 彼此 互相 监控 ， 监 控 对 象 同 时 被 两 个 监控 脚本 监控 。 监 控 脚 本 主要 任务 是 检 
查 脚 本 进程 的 运行 状态 ， 脚 本 一 旦 不 在 进程 列表 中 会 被 立刻 唤醒 。 这 样 的 监控 体系 可 以 保证 监 
控 对 象 一 直 处 在 运行 状态 ， 保 证 日 志 系 统 在 无 人 值守 的 情况 下 能 够 长 时 间 稳 定 运行 。 


1.2.2 linux 实现 

控制 脚本 需要 同时 运行 多 个 脚本 ， 就 需要 局 动 多 个 后 台 进 程 ， 系 统 采用 在 执行 脚本 命令 后 
加 & 操 作 符 来 实现 多 线程 ， 即 : 

./script name. sh & 

加 & 操 作 符 会 对 SIGINT 信 号 免疫 ， 表 示 该 条 命令 将 在 子 she11 中 执行 ， 但 该 条 命令 所 在 终端 
被 关闭 ,进程 也 会 被 关闭 。 实 现 真正 后 台 执 行 应 在 语 名 前面 加 上 nohup， 对 SIGHUP 信 号 免疫 ， 即 : 

nohup ./script name.sh & 

监控 对 象 包含 多 个 脚本 , 通过 shel1 的 多 线程 技术 实现 一 个 控制 脚本 启动 多 个 脚本 。 监控 对 
象 内 脚本 若 停 止 运 行将 被 控制 脚本 唤醒 。 


2 系统 实现 


2.1 开发 语言 简介 

新 疆 天 文 台数 据 传输 日 志 系 统 的 后 台 程 序 由 shel1 脚 本 组 成 , 日 志 检 索 系 统 由 Qt 语言 在 集成 
环境 Qt _ Creator 内 完成 。 

Shel1 是 用 户 使 用 Linux 系 统 的 桥梁 ,接收 用 户 键入 的 命令 并 送 入 内 核 去 执行 。shel1 脚 本 就 
是 用 shell 命 令 组 成 的 程序 ，shell 作 为 一 种 编程 语言 ， 也 有 分 支 控 制 结构 和 循环 结构 等 普通 编 
程 语言 所 具有 的 特点 ， 在 Linux 上 统计 信息 使 用 命令 组 合 可 以 方便 得 到 统计 结果 。 

Qt 是 一 个 路 平台 C++ 图 形 用 户 界 面 应 用 程序 开发 框架 ，Qt 语 言 模块 化 程度 高 且 可 重用 性 较 
好 ，Qt 简 化 了 开发 和 维护 图 形 用 户 应 用 程序 的 任务 "， 内 部 的 组 件 通 过 Qt 特有 的 信和 号 模 机 人 制 通 
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2.2 日 志文 件 结构 

数据 传输 日 志 系 统 的 日 志 包 括 两 部 分 ， 一 部 分 是 记录 数据 存储 在 本 地 机 器 上 的 处 理 后 的 统 
计 日 志 ， 称 为 普通 日 志 ， 这 种 日 志 以 文件 形式 存储 在 以 日 期 命名 的 log 文 件 中 ， 有 数据 存 入 就 会 
产生 新 日 志文 件 ， 另 一 部 分 则 是 使 用 日 志 检索 系统 产生 的 如 登录 、 退 出 系统 记录 ， 界 面 操作 的 
相关 日 志 ， 记 录用 户 行为 轨迹 ， 称 为 系统 日 志 ， 这 类 日 志 的 命名 规则 由 配置 文件 决定 ， 配 置 文 
件 中 日 志文 件 轮转 提供 大 小 和 时 间 两 个 选项 。 另 外 普通 日 志 中 的 某 些 信息 需要 写 入 数据 库 表 中 。 


(1) 普通 日 志 
普通 日 志 写 入 文本 文件 ， 同 时 也 会 将 某 些 字段 号 入 数据 库 表 中 ， 其 输出 格式 如 下 : 
[<Timestamp>] [<log type>] «folder path» «file number> «data volume» <last modify time» 
-e.g.: 
a 19:28:22][INFO] /data/2014/201401 187 1493.34 2018-04-13 13:30:25 
字段 意义 对 应 如 下 : 
《timestamp> 表 示 日 志 记 录 日 期 和 时 间 , 《log type> 代 表 日 志 等 级 , 可 取 
“INFO” , "WARNING", "ERROR?, "NOTICE", «folder path> 表 示 数 据 存 储 路 径 下 的 各 文件 夹 绝 
对 路 径 , 《file number> 表 示 该 文件 夹 下 文件 个 数 ,《data volume> 表 示 该 文件 夹 下 文件 总 量 ( 单 
位 为 MB) , 《last modify time> 表 示 该 文件 夹 最 后 修改 时 间 。 


(2) 系统 日 志 
系统 日 志 以 文本 形式 写 入 文件 ， 其 输出 格式 如 下 : 


<type>|<timestamp>|<user>|<operation>|<source file>|<log type>=<log message>,<status> 


e.g.: 
SISTER LOCINDISNE 18:23:21|sam|logon|logindialog.cpp|INFO-log into system SUCCEED 
字段 含义 如 下 : 

“type> 表 示 日 志 类 型 ， 登 陆 日 志 或 者 是 操作 日 志 ,《timestamp> 表 示 日 志 记 录 时 间 ，《user> 
表示 管理 员 姓 名 ，《operation> 表 示 操 作 ，《source file> 表 示 源 文件 Xlog type> 表 示 日 志 等 
级 , Xlog message> 表 示 日 志 说 明 字 符 串 , 《status> 表 示 操 作 状 态 


2. 3 数据 库 表 

1) 文件 表 (files): 记录 每 个 文件 的 文件 名 、 文 件 大 小 、 文 件 存储 时 间 、 文 件 最 后 修改 时 间 、 
文件 的 mq5 值 

20 天 文 数据 表 (data): 记录 设备 上 天 文 数 据 的 存储 信息 ， 包 括 数据 总 量 (单位 MB)、 存 储 路 径 
内 数据 总 个 数 、 存 储 时 间 与 最 后 修改 时 间 。( 用 户 可 以 设置 记录 数据 的 间隔 时 间 , 如 2 分 钟 ) 

3) XRK (folder): 记录 存储 路 径 根 目录 下 的 各 文件 夹 的 数据 信息 ， 包 括 自 增 字 段 、 文 件 夹 
遍历 次 数 、 文 件 夹 名 称 、 该 文件 夹 下 存储 的 总 数据 量 、 该 文件 夹 包括 的 数据 文件 总 个 数 、 
文件 夹 记录 时 间 、 文 件 夹 最 后 修改 时 间 、 根 目录 下 文件 夹 总 个 数 

4) 每 日 数据 增 量 表 (dayData): 记录 每 日 天 文 数据 存储 路 径 下 数据 的 变化 信息 , 包括 自 增 字段 、 
当日 日 期 、 当 日 增加 的 数据 总 量 、 当 日 增加 的 文件 总 个 数 、 备 用 字段 

5) 每 日 文件 夹 数据 增 量 表 (dayFolderData): 记录 天 文 数据 存储 路 径 根 目录 下 各 文件 夹 每 天 数 
据 变化 信息 ， 包 括 自 增 编 号 字段 、 当 日 日 期 、 文 件 夹 名 称 、 该 文件 夹 存储 数据 总 量 、 该 文 
件 夹 下 存储 文件 总 个 数 、 该 文件 夹 当日 增加 的 数据 总 量 、 该 文件 夹 下 当日 增加 的 文件 总 个 
数 、 根 目录 下 文件 夹 总 个 数 

6) 脚本 程序 监控 表 Cproc status): 记录 后 台 脚 本 程序 的 运行 状态 ， 四 个 脚本 分 别 为 写 数据 脚 
本 、 控 制 脚本 、 每 日 数据 统计 脚本 、rsync 数据 传输 脚本 ， 更 新 时 间 。 


表 1 数据 库 表 结构 


Tab. 1 database table structure 


表 名 字段 名 字段 类 型 字段 描述 
File name char 文件 名 
File size int 文件 大 小 
files storeDBtime timestamp 文件 存储 时 间 
File time last timestamp 文件 最 后 修改 时 间 
Mds5value char 文件 md5 校 验 值 
data_no int noce pr 
data volume double 存储 数据 总 量 
diis data number int 存储 文件 总 个 数 
data time timestamp 写 入 数据 库 时 间 
data time last timestamp 最 后 修改 时 间 
data, add char 备用 字段 
auto_no int 增 字 有 段 
folder_no int 文件 夹 编号 
foldet_cycle_no int 文件 夹 被 访问 次 数 
folder folder_name Char 文件 夹 名 
folder_volume Double 文件 夹 数据 量 
folder_number Int 文件 夹 下 文件 总 个 数 
folder_time Timestamp 写 入 数据 库 时 间 
folder time last timestamp 文件 夹 最 后 修改 时 间 
folder. add char 备用 字段 
auto_no int noce pr 
dayDate date 当日 日 期 
data_volume double 历史 数据 总 量 
dayData data_number int 历史 文件 总 个 数 
incre volume double 当日 数据 增加 量 
incre_number int 当日 文件 个 数 增加 量 
dayData_add char 备用 字段 
auto_no int HE 
dayDate date “HEW 
folder_name char 文件 夹 名 
folder_volume double 文件 夹 下 数据 总 量 
dayFolderData folder_number int 文件 夹 下 文件 个 数 
incre_volume double 文件 夹 下 当日 数据 增加 量 
incre_number int 文件 夹 下 当日 文件 个 数 增加 量 
dayFolderData_add char 备用 字段 
auto_no int 增 字段 
writeData tinyint HIX writeData 
proc status control tinyint KIZ control 
oneDayStat tinyint 基本 oneDayStat 
rsync tinyint WI rsync 
update time timestamp 更 新 日 期 


201811.00001 v1 


chinaXiv 


ChinaXiv 合 作 期 刊 


3 日 志 检 索 系 统 实现 

日 志 检索 系统 主要 为 系统 管理 员 所 服务 ， 通 过 一 个 友好 的 操作 界面 让 使 用 者 更 加 方便 的 查 
询 和 操作 日 志 ， 为 了 便于 控制 整套 天 文 数 据 传输 日 志 系 统 ， 通 过 界面 控制 后 台 运 行程 序 开局 、 
停止 或 重启 ， 更 改 配 置 文件 参数 达到 控制 日 志 输 出 行为 的 目的 。 


3. 1 功能 结构 
站 


ED 


了 


普通 日 志 检 索 


分 类 日 志 查 询 


文本 文件 


图 3 日 志 检索 系统 结构 
Fig.3 structure of log retrieval system 
如 图 3 所 示 , 日 志 检 索 系 统 有 四 部 分 功能 组 成 ， 分 别 为 普通 日 志 检 索 、 分 类 日 志 查 询 、 日 志 
备份 、 参 数 管理 控制 。 


3.2 各 功能 子 模块 描述 
如 图 4 所 示 ， 用 户 成 功 登 录 后 页 面 显示 发 送 端 和 接收 端 存储 数据 情况 , 包括 两 端的 系统 状态 
和 各 自 存储 的 总 文件 量 、 总 文件 数 。 系 统 状 态 列 出 磁盘 设备 已 占用 空间 大 小 、 占 用 比例 、 可 用 


空间 等 信息 。 


Astronomy Data Transmission Log System 


File(F) Help BackService 
(Ou Log Retrieval © sending server (©) accepting server 9 zhuyan 
JE System Log 
BeH Configure System status 
£2 Backup | Device Total Used Available | Used Percent 
V Sending server 
/dev/mapper/vg qttas2-lv root 28G 7.3G 20G 28% 
/dev/sdal 2.0T 633G 1.3T 34% 
"v Accepting server 
Jdev/mapper 28G 7.5G 19G 2996 
/dev/sdal 477M 43M 409M 1096 


Sending server Info(QiTai Site) 
Total data stored:  647279MB 


Total number of files stored : 124353 


Accepting server Info(XAO headquarters) [A 

nÁ 
Total data stored: ^ 647279MB 
Total number of files stored: 124353 


图 4 发 送 端 与 接收 端 数据 存储 情况 一 览 


Fig.4 Summary of data storage at the sender and receiver 


welcome zhuyan 


3.2. 1 普通 日 志 检索 (Log Retrievel) 
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Astronomy Data Transmission Log System 


File(F) Help BackService 


Q Log Retrieval o sending server [v] accepting server 9 zhuyan 
由 System Log 
Condition 
BeH Configure = 
^ 2018-08-01| v | [00:00:00 |Ê] -- [2018-08-05| v | [00:00:00 |$] keyword: | | | search 
£2 Backup 
file name file size generate time 
1 130119 204249 ON 3558400 E Aug 2018 14:03:51 | 
2 130119 195522 OF 3558400 3 Aug 2018 14:03:33 
3 130119 111326 OF 3558400 3 Aug 2018 14:03:37 
4 130119 094320 OF 3558400 3 Aug 2018 14:03:47 
5 130119 215747 ON 3558400 3 Aug 2018 14:03:52 
6 130119 134029 ON 2375680 3 Aug 2018 14:03:43 
7 130119 172916 OF 3558400 3 Aug 2018 14:03:44 
8 130119 174013 ON 3558400 3 Aug 2018 14:03:56 
lo 130119 100549 OF 3558400 3 Aug 2018 14:03:53 
10 130119 203910 OF 3558400 3 Aug 2018 14:03:47 
11 130119 120634 ON 3558400 3 Aug 2018 14:03:43 
12 | 130119_150252_OF 3558400 3 Aug 2018 14:03:57 
13 130119 163040 OF 3558400 3 Aug 2018 14:03:44 
14 130119 142955 ON 3558400 3 Aug 2018 14:03:39 q 
welcome zhuyan 


图 5 普通 日 志文 件 检索 


Fig.5 ordinary Log file retrieval 


如 图 5 所 示 ， 普 通 日 志 检 索 界 面 展示 详细 的 文件 记录 ， LOGER T 文件 生成 时 
间 。 支 持 检索 某 一 段 存储 时 间 内 的 记录 ， 时 间 可 精确 到 某 一 天 的 某 一 秒 ， 支 持 关 键 字 检索 。 关 
eR ed ee Rt et 
的 数据 。 底 部 的 backup 按 钮 支持 备份 当前 检索 的 数据 到 本 地 默认 目录 , 备份 目录 在 Configure 页 
中 修改 。 


3.2.2 分 类 日 志 查 询 (System Log) 
此 界面 分 类 显示 系统 日 志 内 容 ， 系 统 日 志 是 指 用 户 使 用 日 志 检 索 系 统 所 产生 的 一 系列 日 志 
窒息 。 系 统 日 志 可 查看 系统 登录 日 志 与 系统 操作 日 志 两 类 。 


Q Log Retrieval Q zhuyan 
B5 System Log 
system lo: overview e 
ped Configure i d (overview — [2] 
CATEGORY v NUMBER 
C42 Backup 


SYSTEM LOGIN 1110 
SYSTEM OPERATE 185 


图 6 日 志 概览 
Fig.6 log overview 


Q Log Retrieval 9 zhuyan 
Ji System Log k 
login log number:1110 |login log $ | 
Configure 一 -一 
TIME Y STATUS Action Description | 
Backup H | 
2018-06-20 13:44:34.483 SUCCEED logon log into system 


图 7 不 同类 型 日 志 查 询 (登录 日 志 
Fig.7 different types of log queries (logging log) 


Q Log Retrieval Q zhuyan 
d System Log 
operate log number: 185 | operation log $ 
ped Configure s 9 P g 
CN Backup |LEVEL v TIME STATUS Operation Description e 
INFO 2018-07-10 13:08:19.758 SUCCEED categoryChoose selected item System Log 


图 8 不 同类 型 日 志 查 询 ( 操 作 日 志 ) 


Fig.8 different types of log queries (operation log) 


图 6 展示 了 系统 日 志 概 览 ， 包 括 日 志 分 类 和 各 自 的 数量 。 如 图 7 所 示 ， 系 统 登 录 日 志 记 录 每 
个 用 户 登 入 或 登 出 系统 的 时 间 ， 登录 状态 ， 动 作 〈 登 入 或 登 出 ) 以 及 相关 描述 。 如 图 8 所 示 ， 系 


F! 
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统 的 操作 日 志 详 细 记 录 了 用 户 使 用 本 系统 的 行为 轨迹 , 给 出 了 用 户 操 作 的 时 间 , 操作 的 内 容 (如 


查询 操作 、 


备份 操作 等 ) ， 操 作 的 状态 (成 功 或 失败 


3. 2. 3 参数 管理 控制 (Configure) 
此 界面 可 以 控制 后 合 服 务 的 局 动 ， 关闭 ， 重 启 ， 


) ， 操 作 的 详细 描述 。 


对 参数 进行 设置 。 


Astronomy Data Transmission Log 


File(F) Help BackService 


Q Log Retrieval (©) sending server (v) accepting server 


Ji 


P 
中 


System Log 
Configure 


Backup 


System 


Q zhuyan 
Type Location | start 
v Automatic detection — 
OrdinaryLogBackupDir /home/zhuyan/needmodify 16/Logs/ [esa 
SystemLogBackupDir /home/zhuyan/needmodify 16/SystemLogs/ | stop | 
SystemlogMaxSize 10 | 
OrdinaryLoglnterval 2 
MonitorInterval 5 
k 
M set single log size [10 | (Maximum value of single system log,default: 5MB). 
I| set write logs interval [5 | (The interval for writing logs and database,default:2 minutes) 
站 set monitor interval [2 | (The interval for monitoring programs, default:5 minutes). | Apply | 


图 9 系统 配置 


Fig.9 system configuration 


图 9 系统 配置 界面 ， 自 动 显 示 已 有 的 参数 及 参数 内 容 : 
OrdinaryLogBackupDir: 善 通 日 志 远程 备份 到 本 
SystemLogBackupDir: 系统 日 志 备份 默认 路 径 


OrdinaryLogMaxSize: 普通 日 志 单个 文件 最 大 值 


的 最 大 值 则 将 日 志 写 入 另 一 新 文件 中 。 


OrdinaryLogInterval: 写 入 日 志文 件 的 间隔 时 间 ， 


默认 间隔 2 分 钟 。 
MonitorInterval: 后 台 程 序 监控 的 时 间 间 隔 ， 明 
默认 间隔 5 分 钟 。 


时 间 ， 


Jti H 
MonitorlInterval, 


按钮 表示 后 台 


3. 2.4 


的 三 


日 志 备 份 


服务 的 


分 (Backup) 


此 界面 分 为 普通 日 志 备份 和 系统 日 志 备 份 两 种 ， 
服务 器 上 的 日 志 备份 ， 系 统 日 志 备 份 支持 软件 界面 的 


地 的 默认 路 径 


， 默 认 值 为 MB， 才 单个 日 志文 件 超过 设 定 


也 就 是 后 台 程 序 扫描 根 目录 的 间隔 时 间 ， 


[检测 后 台 各 shel1 程 序 的 运行 状态 的 间隔 


个 checkbox 的 设置 分 别 对 应 OrdinaryLogMaxSize、0OrdinaryLogInterval、 
更 改 设置 后 需 点 击 restart (重启 〉 按 钮 重启 后 人 台 服 务 程序 。Start 与 stop 
开启 和 停止 


普通 日 志 备 份 支持 数据 发 送 服务 器 或 接受 


H 志 备 份 o 
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Astronomy Data Transmission Log System 


File(F) Help BackService 


Q Log Retrieval (©) sending server © accepting server 
d System Log 


System Log Backup(Local) 
Li Configure 
és Tu Select the backup point: 


O Backup logs from one year ago 
O Backup logs from six months ago 


O Backup logs before today 


select backup path: 


/home/zhuyan/needmodify16/SystemLogs/ | | ...| 


Server Logs Backups 
Select the backup time interval: 


Start date ofbackups — [2018-09-19 


End date of backups ^ [2018-09-19 


select backup path: 


/home/zhuyan/needmodify 16/Logs/ | | : 


Local Backup 


Q zhuyan 


图 10 日 志 备份 
Fig. 10 log backup 


如 图 10 所 示 ， 系 统 日 志文 件 备份 可 备份 今天 以 前 、 半 匀 
页 面 的 备份 路 径 ， 普 通 日 志 备份 支持 用 户 选择 的 起 始 日 期 内 的 


FE 前 、 一 年 前 的 本 地 上 日志， 默认 配置 


个 文件 夹 、 存 储 路 径 根 目录 每 日 变化 的 所 有 日 志 的 压缩 打包 下 载 ， 默认 配 


4、 数 据 传 输 可 视 化 


日 志文 件 ， 包 括 按 每 个 文件 、 每 


备 中 的 备份 路 径 。 


在 日 志 系 统 的 基础 上 ， 通 过 htm15、AJAX、PHP 等 web 相 关 技 术 建 立 了 数据 传输 可 视 化 页 面 ， 
如 图 12 所 示 。 可 视 化 页 面 上 可 显示 传输 系统 工作 情况 ， 便 于 系统 管理 员 及 相关 人 员 了 解数 据 传 


输 情况 。 可 视 化 页 面 分 为 6 个 部 分 : 第 一 部 分 ,通过 柱状 统计 民 
况 ; 第 二 部 分 ， 通 过 柱状 统计 图 显示 出 过 去 一 周 的 数据 情况 ， 第 三 部 分 ， 
的 心跳 数据 ， 显 示 出 发 送 服务 器 与 接受 服务 器 的 状态 ， 一 但 出 现 


日 的 数据 存 入 和 发 送 情 


晶 后 台 服 务 器 


过 警报 程序 自动 发 送 


提醒 ， 第 四 部 分 ， 通 过 饼 状 图 显示 出 服务 器 的 存储 情况 ， 管 理 人 员 可 通过 直观 的 显示 判断 是 否 


需要 增加 存储 设备 ， 第 五 部 分 ， 通 过 调用 日 志 记录 ， 显 示 
过 曲线 图 ， 显 示 过 去 一 小 时 的 数据 传输 速率 。 


E 进 行 的 传输 情况 ， 第 六 部 分 ， 通 
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Today's data transmission Data transmission in the past seven days 


Il Dat has been trans mitted today(GB) EE The amount ofdats produded(GB) MMW The amount ofdats tr ansferred(GB) 
25 


20 
120 
15 
100 
80 
10 
5 
0 
05-16 05-17 05-18 05-19 0520 05-21 0522 


Been Transmitted To be transmitied 


Network connection Data situation of sending server Data situation of accepting server 


Communication time : 2018-05-23 12:03:27 Using : 264159MB total space : 4718592MB Using : 240817MB total space : 2097152MB 
Data-sending server connection status : Total Files : 44785^* 2018-05-23 12:06:17 Total File : 39542^* 2018-05-23 12:05:09 


[normal] pace Space E Us <d =psce MEN Free Spec 
Data-accepting server connection status : EN Useds umm rec 


[normal] 

Communication time : 2018-05-23 12:01:27 
Data-sending server connection status : 
[normal] 

Data-accepting server connection status : 
[normal] 

Communication time : 2018-05-23 11:59:27 
Data-sending server connection status : 
[normal] 

Data-accepting server connection status : 
ums © © 


Data transmission performance Data transfer rate for the past hour 


o 8 8 8 


Transferred file name: 


L— 2] Data trans mis sion volume per minute ( MB ) 
/2016/20160311/ 450 
160311 032311 ON.rpf 
6.87MB/s 400 
6196 
350 
Transferred file name: 
/2016/20160311/ 300 
160311 032316 OF.rpf 
3.54MB/s =n 
100% 
200 
Rsync tool is running. 
OR EEEIEE EE. i $ P y SA gg PD 
NA 站 e 
图 11 可 视 化 界面 


Fig.11 Visualization page 


可 视 化 系统 将 数据 传输 的 日 志 内 容 较 为 直观 的 显示 出 来 ， 为 系统 管理 员 提 供 了 极 大 的 便捷 ， 
可 辅助 判断 系统 的 运行 情况 ， 及 时 发 现 系 统 存 在 的 问题 。 可 视 化 页 面 采用 模块 化 开发 技术 ， 将 
来 可 以 嵌入 到 大 型 观测 装置 的 中 控 系 统 当中 。 


5 总 结 

根据 新 疆 天 文 台数 据 传 输 的 实际 需求 ， 构 建 了 日 志 收 集 - 存 储 服务 -日 志 检索 的 日 志 系 统 架 
构 ， 在 数据 发 送 服务 器 与 接收 服务 器 上 都 搭建 了 日 志 系 统 的 后 台 服 务 程 序 。 创 新 提出 了 脚本 程 
序 间 互 监控 系统 ， 完 成 了 数据 传输 中 对 文件 信息 、 文 件 nd5 校 验 值 记 录 的 普通 日 志 ， 与 按 天 按 存 
储 数据 文件 夹 记录 的 统计 日 志 。 男 外 , 在 数据 接受 服务 器 端的 系统 具有 目 动 检测 数据 更 新 功能 

日 志 检 索 系 统 作为 客户 ?了 迪 软 件 安装 在 第 三 方 设备 上 ， 软 件 读 取 配置 文件 信息 ， 自动 连接 数 
据 发 送 服务 器 端 与 数据 接收 服务 器 端 数据 库 。 实 现 了 按时 间 、 关 键 字 检索 两 端 远程 服务 器 日 志 
信息 ， 备 份 由 检索 结果 组 成 的 日 志 信 息 。 碍 看 软件 本 地 产生 的 登录 、 操 作 等 不 同类 别 日 志 ， 压 


缩 备份 本 地 日 志 。 实现 了 对 服务 器 两 端 配 置 文件 参数 修改 , 提供 用 户 对 服务 器 两 端 系统 的 启动 、 
停止 、 重 启 功 能 。 

实现 了 数据 传输 的 可 视 化 ,通过 WEB 形 式 显示 日 志 内 容 ， 可 以 辅助 系统 管理 员 了 解 传输 系统 
的 运行 状态 ， 采 用 模块 化 开发 技术 ， 便 于 后 期 的 移植 和 复 用 。 
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Design and implementation of Xinjiang Astronomical 


Observatory Observation data transmission log system 
Zhu Yan"', Zhang Hailong"",Ye Xinchen ,Wang Jie', Wang Wanqiong, Tohtonur', Li Jia’, 
Zhang Meng" 


(1. Xinjiang Astronomical Observatory, Chinese Academy of Sciences, Urumqi 83001 1,China; 2. University of Chinese Academy of Sciences, 
Beijing 100049,China; 3. Key Laboratory of Radio Astronomy, Chinese Academy of Sciences, Nanjing 210008, China) 


Abstract: The observation data generated by Xinjiang Astronomical Observatory(XAO) telescope 
was transmitted to the data center at XAO headquarters for long-term storage through the dedicated 
transfer line. Statistical analysis cannot be performed due to the lack of detailed log records during 
transmission using rsync. The data transmission log system of XAO was designed and developed on 
the basis of fully investigating the data transmission demand. Based on the data storage server of 
Nanshan Station, Qitai Station and the long-term storage server at the XAO headquarters, the overall 
architecture of log system was designed and the logging of the data transmission process was realized. 
The shell multi-threading technology and qt framework were adopted to develop the back-end service 
program and system software interface which realized log analysis, data statistics, log backups and 
data transfer visualization page. 

Keywords: Log; Data Transmission; Database; Visualization 


